
历时6个月,Hugging Face开源LLM「超大规模实战手册」!200页3万字4000次训练
历时6个月,Hugging Face开源LLM「超大规模实战手册」!200页3万字4000次训练Hugging Face发布了「超大规模实战手册」,在512个GPU上进行超过4000个scaling实验。联创兼CEO Clement对此感到十分自豪。
Hugging Face发布了「超大规模实战手册」,在512个GPU上进行超过4000个scaling实验。联创兼CEO Clement对此感到十分自豪。
社交平台Bluesky近期爆火,有人认为它可能取代X(原Twitter)。 作为新晋的社交平台,Bluesky在上周已突破2000万用户。在过去一周,Bluesky每天都有将近100万的新用户注册。特别是在美国大选结果揭晓后,大量的用户离开马斯克的X,转向Bluesky。
如果把人工智能比作人类技术史上的一场革命, 那么 Hugging Face 就是这场革命中的一位「使者」, 它用一场场真诚的拥抱,拉近了科研与应用、技术与人之间的距离。 今天,Hugging Face 已成为 AI 开源领域的明星,拥有超过 50 亿美元的估值,并成功将开源精神与商业化模式融合,成为全球最活跃的 AI 社区之一。 但这一切,起点却颇为意外,从一款聊天机器人开始。
北京时间 10 月 30 日,GitHub Universe 2024 如约而至,而今年正值大会十周年纪念日。本文将从 GitHub 发布的 AI 新进展入手,围绕开源模型、用户数量、盈利模式、发展历程等几个方面,全面梳理 GitHub 与 Hugging Face 两大开源平台的异同。
「这才是开放研究该有的样子。」 经常刷 arXiv 的同学,你有没有发现页面上多了个新功能?这个新功能(图中的「Hugging Face」按钮)隐藏在「Code, Data, Media」选项卡下,选中之后就可以直达相关的 Hugging Face 论文、模型和数据集。
现在,在 Hugging Face 中,使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容,这要归功于一个 最近的 PR 以及新的 DataCollatorWithFlattening。 它可以在保持收敛质量的同时,将训练吞吐量提高多达 2 倍。继续阅读以了解详细信息!
国产多模态大模型,也开始卷上下文长度。
等了半年,微软视觉基础模型Florence-2终于开源了。它能够根据提示,完成字幕、对象检测、分割等各种计算机视觉和语言的任务。网友们实测后,堪称「游戏规则改变者」。
近期,由清华大学自然语言处理实验室联合面壁智能推出的全新开源多模态大模型 MiniCPM-Llama3-V 2.5 引起了广泛关注
今年 3 月,以构建大型开源社区而闻名的 AI 初创公司 Hugging Face,挖角前特斯拉科学家 Remi Cadene 来领导一个新的开源机器人项目 ——LeRobot,引起了轰动。